Recognizing emotion from dance movement: comparison of spectator recognition and automated techniques

Abstract

This paper illustrates our recent work on analysis and classification of expressive gesture in human full-body movement and in particular in dance performances. An experiment is presented which is the result of a joint work carried out at the DIST–InfoMus Lab, University of Genova, Italy, and at the Department of Psychology of the University of Uppsala, Sweden, in the framework of the EU-IST project MEGA (Multisensory Expressive Gesture Applications, www.megaproject.org). The experiment aims at (i) individuating which motion cues are mostly involved in conveying the dancer's expressive intentions to the audience during a dance performance, (ii) measuring and analyzing them in order to classify dance gestures in term of basic emotions, (iii) testing a collection of developed models and algorithms for analysis of such expressive content by comparing their performances with spectators’ ratings of the same dance fragments. The paper discusses the experiment in detail with reference to related conceptual issues, developed techniques, and obtained results.

本論文では、人間の全身運動、特にダンスパフォーマンスにおける表情豊かなジェスチャーの解析と分類に関する我々の最近の研究成果を紹介する。EU-ISTプロジェクトMEGA (Multisensory Expressive Gesture Applications, www.megaproject.org) の枠組みで、イタリアのジェノバ大学DIST-InfoMusラボとスウェーデンのウプサラ大学心理学部で行われた共同作業の結果である実験が発表される。この実験の目的は、(i)ダンスパフォーマンス中にダンサーの表現意図を観客に伝えるのに、どの動作キューが主に関与しているかを特定し、(ii)ダンスジェスチャーを基本感情という観点から分類するためにそれらを測定・分析し、(iii)同じダンスの断片に対する観客の評価とそれらのパフォーマンスを比較することによって、その表現内容分析用に開発したモデルやアルゴリズムのコレクションを検証することである。本論文では、関連する概念的な問題、開発した技術、および得られた結果を参照しながら、この実験の詳細について議論する。